Wenn KI durchdreht
In den vergangenen Monaten brachen offenbar mehrere Agenten Künstlicher Intelligenz aus ihren abgeschotteten Testumgebungen aus und verschafften sich unbefugt Zugriff auf verschiedenste Computersysteme. Im Juli sorgte OpenAI für Schlagzeilen: Die eigenen Modelle waren entkommen und hatten Hugging Face gehackt, eine quelloffene Plattform für die gemeinsame Arbeit an Modellen, Datensätzen und Anwendungen. Gut eine Woche später räumte Anthropic ein, auch seine Modelle hätten es ins Netz geschafft und seien in die Systeme dreier Organisationen eingedrungen.
Auch Meta bestätigte einen ähnlichen Vorfall, bei dem eines seiner Modelle in die Systeme einer Organisation eindrang. Die Sorge wächst, dass Künstliche Intelligenz erhebliche Risiken birgt – und die Frage nach der Verantwortung bleibt weiterhin offen. „Das waren keine bloßen Laborpannen“, schrieb Francesco Bailo, stellvertretender Direktor des „Centre for AI, Trust and Governance“ an der Universität Sydney, im Magazin „The Conversation“. „Die Vorfälle zeigen: Der Test fortgeschrittener Modelle ist längst kein kontrollierter Vorgang mehr. Die Unternehmen dahinter müssen mehr tun, um die gefährlichsten Fähigkeiten sicher einzuhegen.“
Immerhin: Die Beteiligten spielten das Problem nicht herunter. Sam Altman, Mitgründer und Chef von OpenAI, schrieb auf X: „Wir hatten einen erheblichen Sicherheitsvorfall bei der Evaluierung unserer Modelle.“ Das Unternehmen legte auch Einzelheiten offen. Es hatte neue Modelle getestet, darunter GPT-5.6 Sol und ein „noch leistungsfähigeres Vorabmodell“. Geprüft wurden deren Cyberfähigkeiten – mit teilweise abgeschalteten Sicherheitsschranken.
Auf der Jagd nach ihrem Testziel nutzten die autonomen Agenten dann eine sogenannte Zero-Day-Lücke, um ins Internet zu gelangen. „Die Modelle schlossen daraus, dass Hugging Face womöglich Modelle, Datensätze und Lösungen bereithält“, berichtete OpenAI. Und die Agenten fanden „Wege, an geheime Informationen zu kommen, mit denen sich die Evaluierung austricksen ließ“ – die KI wollte also in der Prüfung kräftig schummeln.
OpenAI bemerkte die Aktivitäten erst, als Hugging Face das Problem längst eingedämmt und das FBI eingeschaltet hatte. Hugging-Face-Chef Clément Delangue sagte gegenüber CNN zwar, sein Unternehmen plane keine rechtlichen Schritte. Er mahnte aber: „Alle sollten bedenken, dass ein Cyberangriff eine Straftat ist und damit illegal.“ Für eine ohnehin skeptische Öffentlichkeit kam der Vorfall zum denkbar schlechtesten Zeitpunkt.
Grüße von Skynet?
Künstliche Intelligenz prägt den Alltag der Menschen immer stärker – sichtbar wird das auch daran, dass sie fester Bestandteil von Apples Betriebssystemen geworden ist. Sie macht den Umgang mit Apple-Produkten einfacher, steigert die Produktivität, eröffnet wirtschaftliche Chancen, hilft der Forschung und könnte sogar die moderne Medizin umkrempeln. Sie kann aber ebenso Arbeitsplätze in großer Zahl vernichten, eine große Flut von Falschinformationen auslösen und die Privatsphäre wie auch die Cybersicherheit von Menschen und Unternehmen gefährden.
Das größte Versprechen der Technik, komplexe Aufgaben mit weniger menschlichem Zutun zu erledigen, gilt zugleich als ihr größtes Risiko. Kein Wunder also, dass Berichte über Einbrüche in Firmensysteme nervös machen. Zumal ausgerechnet jene Anbieter beteiligt sind, deren Systeme bei Endkundinnen und Endkunden landen: ChatGPT etwa lässt sich aus Siri heraus aufrufen. Doch immerhin ziehen die Beteiligten Lehren daraus.
Anthropic und Meta erklären übereinstimmend, ihre Agenten hätten in abgeschotteten Testumgebungen nach geheimen Informationen suchen sollen. Wegen „Fehlkonfigurationen“ konnten die Agenten ihre Suche jedoch ins Netz ausweiten. Die Modelle nutzten also Schwächen schlecht eingerichteter Testumgebungen aus. Das erinnert daran, wie schwer kleine Versäumnisse wiegen, sobald ein intelligentes, autonomes System davorsitzt. So verlockend der Vergleich mit Skynet ausfällt: Die Maschinen übernehmen erst einmal nicht die Herrschaft über die Welt.
„Mit der Formulierung ‚durchgedrehte Künstliche Intelligenz‘ sollte man vorsichtig umgehen“, sagt Professor Kevin Pimbblet, Leiter der „School of Digital and Physical Sciences“ an der Universität Hull. „Es gibt keine belastbaren Belege dafür, dass diese Systeme plötzlich ein Bewusstsein entwickelt haben, bösartig geworden sind oder heimlich ausbrechen wollen.“
Die jüngsten Vorfälle zeigen: Für unerwartetes Verhalten braucht es wahrlich keine Superintelligenz. Ausreichend Autonomie und Zugriff reichen der aktuellen Technik bereits aus. Umso wichtiger ist es, die technischen und regulatorischen Fragen jetzt anzugehen, statt sie auf ein in der Politik so beliebtes „später“ zu vertagen.
Nach Berichten über die Hacking-Vorfälle mit OpenAIs agentischer KI erklärte US-Präsident Donald Trump, er prüfe derzeit „Kontrollen“. Zugleich warnte er vor Überregulierung: Weil aus seiner Sicht die Nation mit dem größten KI-Ökosystem den „globalen Standard“ setzt, fürchtet er eine Bremse für die Branche.
Auch Großbritannien kennt bislang kein Gesetz dafür und verlässt sich auf bestehende rechtliche und regulatorische Rahmen. Immerhin: Das dortige Wissenschaftsministerium betreut das „AI Security Institute“, eine Forschungseinrichtung, die Fähigkeiten und Risiken bewerten soll. Und die EU? Kümmert sich vor allem um eine Kennzeichnungspflicht von KI-Inhalten.
Die Wirklichkeit ist weit weniger dramatisch. Entwicklerteams erwarten mitunter, dass sich ein Modell wie vorgesehen verhält – und rechnen nicht damit, dass es unerwartete Wege einschlägt, sobald die Kontrollen zu locker sitzen. „Wir bauen Systeme, die Ziele immer eigenständiger verfolgen. Und sie teilen nicht zwangsläufig all die unausgesprochenen Annahmen, die ein Mensch über die Grenzen einer Aufgabe mitbringt“, sagt Pimbblet.
„Die jüngsten Vorfälle wiegen schwer, weil sie zeigen: Das Problem ist nicht länger rein hypothetisch. Ein System muss weder empfindungsfähig noch böse sein, um großen Schaden anzurichten. Es muss nur leistungsfähig und autonom sein, an echte Systeme andocken und ein unsauber formuliertes Ziel verfolgen.“
Wenn Schranken fallen
Klar ist: Wer Beschränkungen aufhebt oder unerwünschte Wege offen lässt, riskiert ernste Folgen. Das britische „AI Security Institute“ (AISI) fand heraus, dass Agenten in Tests mit reduzierten Schutzmechanismen zu „anhaltendem, nicht genehmigtem Handeln gegen reale Menschen und Organisationen“ fähig sind.
Das Institut sieht seine Aufgabe darin, die Fähigkeiten von Modellen einzuschätzen und Risiken früh zu erkennen. Dafür stellte es Agenten eine Aufgabe aus der Cybersicherheit. Ende Juli ließ das AISI diese Aufgabe 122-mal durchlaufen, gewährte dabei Zugang zum offenen Internet und schaltete einen Teil der Cyberklassifizierer ab – also jener Filtermechanismen, die gefährliches Verhalten blockieren sollen.
Apple Intelligence ist erwachsen. Mit iOS 27 etwa fördert Siri relevante Informationen besser zutage, kennt sich in der Welt besser aus und erfasst, was auf dem Bildschirm passiert. Je leistungsfähiger die Technik wird und je tiefer sie im Alltag steckt, desto drängender werden Fragen nach Zugriff, Rechten, Autonomie, Privatsphäre und auch der Verantwortung.
Apple betont, den Datenschutz ernst zu nehmen – mit Verarbeitung auf dem Gerät und mit „Private Cloud Compute“. Während die Rufe nach strengeren Regeln lauter werden, bleibt offen, wie sie greifen sollen. „Ein Chatbot, der meine E-Mails zusammenfasst, birgt ein grundlegend anderes Risiko als ein autonomer Agent, der Code ausführt, Schwachstellen findet, Zugangsdaten beschafft und mit fremden Computersystemen interagiert“, sagt Kevin Pimbblet von der Universität Hull. „Die Regulierung sollte schrittweise strenger werden, je mehr Leistung, Autonomie und Zugang zur echten Welt hinzukommen.“
Bei Apples aktuellem Angebot wirken die Risiken überschaubar. „Mir bereitet erheblich mehr Sorge, dass leistungsfähige Systeme zu viel Autonomie, Zugriff oder Befugnis erhalten, als ein Science-Fiction-Szenario, in dem ChatGPT plötzlich ein Selbstbewusstsein entwickelt und die Menschheit hassen lernt“, ergänzt Pimbblet.
In zehn Durchläufen handelte ein Agent „autonom und nicht genehmigt im offenen Internet, gerichtet gegen Menschen und Organisationen“. Insgesamt zählte das AISI 19 Aktionen: 17 gingen auf Anthropics Claude Mythos 5 zurück, zwei auf GPT-5.6 Sol von OpenAI. „Im schwersten Fall“, so das Institut, „versuchte ein Agent, Schadcode in ein Open-Source-Projekt einzuschleusen. Um die Freigabe zu erreichen, betrieb er Social Engineering: Er erfand Online-Identitäten und setzte so den Betreuer des Projekts unter Druck.“
Der menschliche Betreuer lehnte die Freigabe ab, echter Schaden entstand nicht. Der Vorfall führte aber vor Augen, wozu autonome Agenten im Extremfall taugen. Solche Fähigkeiten müsse man kennen, argumentiert das AISI, falls kriminelle Hacker sie ausnutzen. OpenAI und Anthropic betonen zwar, die Tests bildeten den normalen Einsatz ihrer Modelle nicht ab. Trotzdem hilft genau diese Art von Forschung dabei, künftige Risiken zu erkennen und einzudämmen. „Dass ein Spitzenmodell Schwächen seiner Umgebung ausnutzen und am Ende mit der Infrastruktur einer fremden Organisation interagieren konnte, sagt viel darüber aus, wie leistungsfähig diese Systeme inzwischen sind“, sagt Pimbblet. „Ein Beleg für feindselige Absichten ist das nicht. Für einen schweren Unfall braucht es aber leider gar keine feindselige Absicht.“
Umsicht ist gefragt
Diese Vorfälle zeigen vor allem, wie viel Sorgfalt es bei der Vorbereitung der Tests solcher Modelle bedarf. Pimbblet vergleicht das mit einem klugen, aber sehr wörtlich denkenden Angestellten, der Zugriff auf sämtliche Computersysteme einer Firma erhält. „Man nennt ihm ein Ziel, er findet einen raffinierten Weg dorthin, an den niemand gedacht hat – und erst hinterher fällt auf, dass man mehrere Dinge nicht ausgesprochen hat, die ein menschlicher Angestellter von selbst als verboten verstanden hätte. Der Unterschied: Ein solches System arbeitet viel schneller und potenziell in enormem Maßstab.“
Entsprechend lauter werden die Rufe nach strengeren Regeln und nach einem neuen Testverfahren: Unabhängige Prüfstellen sollen bewerten, statt dass ausgerechnet jene Konzerne die Sicherheit belegen, die um die leistungsfähigsten Systeme wetteifern.
„Die vielleicht wichtigste Lehre aus diesen Vorfällen lautet: Für die Gefahr braucht es keine Superintelligenz“, ergänzt Pimbblet. „Wenn heutige Systeme mit genügend Autonomie und Zugriff schon jetzt gelegentlich Dinge tun, die ihre Entwickler nicht vorhergesehen haben, dann müssen wir die technischen und regulatorischen Probleme jetzt lösen, statt darauf zu bauen, dass sich das später klären lässt, wenn die Technik deutlich mehr kann.“ Noch also ist Zeit zum Handeln!
Stefan beschäftigt sich seit seiner Kindheit mit Computern – angefangen beim „Brotkasten", dem C64, und Amiga 500, lange bevor Apple-Geräte seinen Alltag bestimmten. Der eigentliche Einstieg in die Mac-Welt führte über die Musikproduktion: Über die Magazine Keyboards, Keys und Beat führte ihn sein Weg schließlich zur Mac Life, deren Website er seit 2007 verantwortet. Seit 2023 ist er zudem Chefredakteur des gedruckten Magazins.
Besonders faszinieren ihn die Schnittstellen zwischen Technik und Kreativität – vom Mac als Werkzeug für Musik, Foto und Video hin zu neuen Apple-Technologien wie Vision Pro oder KI-Funktionen. Wenn Stefan nicht gerade neue Apple-Hardware testet, fotografiert er mit Vorliebe aus ungewöhnlichen Perspektiven, gerne per Drohne oder seiner Mittelformatkamera.
Neben der Redaktion ist er außerdem Host des Apple-Podcasts „Schleifenquadrat". Seine Begeisterung für Musik & Sounds begleitet ihn bis heute. Kein Wunder, denn Anfang der 2000er-Jahre etwa wirkte er unter anderem an Samples mit, die Teil von Logic Pro wurden.
